When Classic Cache Policies Fail: Learning-Augmented Replacement for Semantic Retrieval Buffers
经典缓存策略失效：面向语义检索缓冲区的学习增强替换
🧭 Agent记忆缓存 · 学习增强替换
LIGHTSPEED, Tencent · The Chinese University of Hong Kong
提出学习增强框架 SOLAR，通过遗憾驱动更新和贝叶斯在线选择，在语义缓存中取得恒定竞争比和 5–75% 的相对提升
📌 工作参考价值（4 点）
- 不要盲信 LRU/LFU：在语义检索缓存场景（如 Agent 记忆、会话推荐上下文）中，由于缺乏时间/频率局部性，简单的 FIFO 往往优于经典策略，可作为安全基线。
- 遗憾驱动的阈值触发：借鉴 SOLAR 的修改时机决策，仅当累积遗憾超过阈值时才淘汰/插入内容，可大幅降低缓存刷新开销（修改率～17%），适合高吞吐在线服务。
- 从隐式反馈中学习选择内容：使用贝叶斯在线学习基于检索命中质量（连续打分）动态选取缓存条目，可迁移到推荐系统中的曝光缓存、实时兴趣表征缓存，提升长尾覆盖与及时性。
- 缓存容量不是越大越好：实验发现的倒 U 型关系表明，过大的缓存可能引入噪声，可尝试将容量视为噪声控制开关，关注“工作集”而非全量存储，避免无效检索干扰。